Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models
面向多模态大模型的趋势感知训练自由视觉Token剪枝
🧭 多模态LLM高效推理 · Token动态剪枝
Xiamen University · Xiamen Ocean Vocational College · Sino-Russian Research Center for Digital Economy
通过捕捉注意力流动量实现动态可逆的视觉Token剪枝，避免“晚期绽放”关键token被过早丢弃
📌 工作参考价值（4 点）
- 在多模态Agent或电商内容理解中，处理商品图片、视频时可采用注意力动量追踪，识别并保留初始被低估但深层关键的视觉token，避免误剪，提升下游任务精度。
- 训练自由特性可直接集成到现有多模态LLM推荐或对话系统，无需重新训练，降低部署成本；超过77.8%的token缩减可显著加速推理，支撑实时交互。
- 可逆剪枝设计为复杂场景（如用户拍摄的模糊、遮挡商品图）提供容错，动态修正机制可适配其他模态的token筛选，如文本序列中后期关键token的保留。
- 方法不依赖额外模型结构，适合在电商搜索、广告生成等流量密集型场景中快速实验并上线，作为通用的效率优化插件。